神经辐射场是一个新兴的3D场景代表,最近甚至扩展了以通过从视觉语言模型中提取开放式摄影特征来学习场景理解的效率。但是,当前方法主要集中在以对象为中心的表示上,支持对象分割或检测,而对象之间的语义关系仍然很大程度上尚未探索。为了解决这一差距,我们提出了直接从神经辐射场直接提取对象间关系的方法。关系域代表对象之间的关系作为神经辐射场中的射线对,有效地扩展了其公式,以包括隐式关系查询。要教授关系复杂,开放式摄影关系,关系知识是从多模式LLM中提取的。为了评估RelationField,我们求解了开放式Vocabulary 3D场景图生成任务和关系引导的实例Segmentation,在这两个任务中都实现了最新的性能。请参阅项目网站,网址为REANATIONFIELD.GITHUB.IO。
![arxiv:2412.13652v1 [cs.cv] 2024年12月18日PDF文件第1页](/bimg/2/20dd5a2e5d727126600410cddeae95978c6b7d8e.webp)
![arxiv:2412.13652v1 [cs.cv] 2024年12月18日PDF文件第2页](/bimg/f/fc7bac2fd7343ba2ec767e3e84ebcd9009af3b0c.webp)
![arxiv:2412.13652v1 [cs.cv] 2024年12月18日PDF文件第3页](/bimg/a/a25be721b0064f53290b42fcd377af9f0f7245b6.webp)
![arxiv:2412.13652v1 [cs.cv] 2024年12月18日PDF文件第4页](/bimg/a/ad7d3e36c233dcc901631a9884dbac2a911e5679.webp)
![arxiv:2412.13652v1 [cs.cv] 2024年12月18日PDF文件第5页](/bimg/0/0a91f0a33c66ed918fcf7f88bff53aaf1b9e5a15.webp)
